Nessa seção mostraremos os testes e os resultados da implementação 
do projeto usando textos reais de sites da Internet e comparando-os com os
dados obtidos.

\section{Extrator de Informações}

\subsection{Objetivos do Teste}

O objetivo do Extrator é retirar três grupos de informações:
quais equipes jogaram, qual foi o resultado do jogo em gols e
em qual estádio foi o jogo. Além dessas informações explícitas, o Extrator deve
procurar a relação implícita das equipes; ou seja, qual equipe foi vitoriosa,
se houve empate ou qual foi a derrotada.

Para isso, foram usados quinze textos sobre partidas futebol, sendo esses
textos inseridos no formato de texto puro, ou seja, sem formatação
de estilo, \emph{tags} HTML ou imagens para não interferir no
processamento de linguagem natural, colocando metadados que não são tratados.

Esses textos foram retirados de páginas do site UOL (Universo OnLine) sobre o
Campeonato Paulista de 2008. Eles são escritos por vários jornalistas
diferentes e os textos tratam principalmente de jogos das últimas rodadas do
Campeonato. Eles foram escolhidos porque contém mais informações;
como mais citações às outras equipes que não jogaram a partida e mais relações
entre as equipes do que os textos das primeiras rodadas do Campeonado.

O processo de teste se baseia na retirada das informações, tanto por um
leitor humano quanto pelo Extrator. O objetivo desse teste é comparar essas
duas informações, partindo do princípio que a informação compreendida pelo ser
humano é a correta.

Outro foco da análise é comparar se o resultado obtido pelo Extrator condiz com
a relação encontrada; ou seja, se uma equipe venceu, logo ela deve estar no
resultado com mais gols.

Por fim, é feito um quadro comparativo com a taxa de acerto para os dados
retirados nesses quinze textos (A tabela completa pode ser achada no Anexo B).

\subsection{Testes e Resultado}

Como exemplo dos testes, foram colocados dois resultados dos textos analisados,
podendo ver o resultado extraído por um ser humano: 

\begin{table}[!htb]
\centering
\begin{tabular}{|c|c|c|c|c|c|}
\hline
\textbf{Teste} & \textbf{Equipe 1} & \textbf{Equipe 2} & \textbf{Gols 1} &
\textbf{Gols 2} & \textbf{Estádio}\\
\hline
1&Palmeiras&Barueri&3&0&Arena Barueri\\
\hline
6&Corinthians&Noroeste&2&3&Alfredo de Castilho\\
\hline\end{tabular}
\caption{Resultado da partida retirada por um Humano}
\end{table}

Com a análise do Extrator, temos o seguinte resultado para esses dois textos:

\begin{table}[!htb]
\centering
\begin{tabular}{|c|c|c|c|c|c|}
\hline
\textbf{Teste} & \textbf{Equipe 1} & \textbf{Equipe 2} & \textbf{Gols 1} &
\textbf{Gols 2} & \textbf{Estádio}\\
\hline
1&Palmeiras&Barueri&3&0&Arena Barueri\\
\hline
6&Corinthians&Noroeste&2&3&Alfredo de Castilho\\
\hline\end{tabular}
\caption{Resultado da partida retirada pelo Extrator}
\end{table}

É possível ver que, nesses testes, os resultados foram bem sucedidos, pois os
dados foram exatamente os mesmos dos dados retirados pelo humano. No Anexo B,
há uma tabela com as informações dos quinze textos.

Não foram todos os testes que tiveram resultados tão completos e satisfatórios
como os apresentados acima. Na partida do teste 9, que foi entre
Juventus e Rio Preto, o texto se mostrou ambiguo até mesmo ao leitor humano,
pois houve muita dificuldade para saber qual foi o resultado do jogo e o Extrator não conseguiu
retirar essa informação. Mas a informação da estrutura que o Juventus perdeu a
partida foi o diferencial, pois sabemos o resultado do jogo mesmo sem os gols.

Em outros casos, apenas uma das equipes foi detectada, pois havia poucas
referencias às equipes que jogaram e a relação encontrada apenas mostrava qual
a equipe foi vencedora.

Com isso, temos a seguinte tabela com os resultados dos testes:

\begin{table}[!htb]
\centering
\begin{tabular}{|c|c|}
\hline
\textbf{Grupo de teste} & \textbf{Acerto}\\
\hline
\textbf{Acertou as 2 equipes que jogaram} & 86.67\%\\
\hline
\textbf{Acertou pelo menos 1 equipe que jogou} & 100.00\%\\
\hline
\textbf{Acertou o resultado da partida} & 93.33\%\\
\hline
\textbf{Acertou o estádio} & 88.89\%\\
\hline
\textbf{Acertou a relação} & 66.67\%\\
\hline
\end{tabular}
\caption{Resultados dos testes}
\end{table}

A tabela acima mostra que as técnicas usadas foram bem sucedidas, pois
acertou sempre em pelo menos uma das equipes que jogou a partida e acertou em
86.67\% as duas. Outro fato interessante é o acerto do resultado do jogo
junto ao acerto de qual time venceu. Nesse caso, o acerto potencializado
pela extração estatística das equipes.

Entretanto, o acerto de quem ganhou ou quem perdeu foi feito principalmente pelo
acerto da relação entre as equipes. Em 66.67\% dos casos o Extrator
descobriu quem ganhou a partida ou quem perdeu. Isso é muito importante, pois
essa informação é uma relação efetiva entre as equipes que jogaram e podemos
fazer correções dos dados extraídos anteriormente pelo método de procura e
estatístico, ocorrido porque, na maioria do texto, temos estruturas do tipo
``\emph{Equipe 1 vence Equipe 2}''.

Mas podemos ver que os resultados não foram bons para empates. Isso foi
observado porque nenhuma relação foi achada entre as equipes que foram citadas
no texto. Foi observado no textos em que há empate da partida que não há
estruturas comuns devido ao uso de gírias, críticas ou outros termos à uma
equipe por ter cedido o empate.

Apesar desses problemas citados, podemos ver o Extrator é bastante confiável
pois retornou o mesmo dado observado pelo ser humano na maioria dos casos.

\section{Buscador de Informações}

O objetivo do buscador é, a partir de uma entrada do usuário, identificar os
tipos de termos desejados e, a partir dos mesmos, obter os dados das partidas
que correspondem à entrada, sendo exibidos em uma página web.

Para os testes, são utilizados sete grupos de entradas que correspondam aos usos
típicos do sistema por um usuário que queira saber informações a respeito de
partidas. é desejável que cada uma das possibilidades de busca apresentadas na
seção de implementação seja utilizada.

Nestes grupos de entrada estão presentes entradas comuns, como se espera de um
usuário médio solicitando dois times, um estádio ou cidade. Foram colocadas
também entradas mais complexas, principalmente que envolvam ambiguidades, ou uma
quantidade maior de termos a serem localizados.

Os resultados esperados são páginas \emph{HTML} com as partidas entre as equipes
na entrada (se houver), com estádios e cidades; ordenadas conforme o critério
apresentado na seção de implementação. Havendo equipes, os confrontos em
estádios e cidades especificados devem aparecer primeiro, seguidos dos
confrontos onde não haja essa correspondência.
